体现的代理需要能够在自然语言中互动理解任务描述，并提出适当的后续问题以获取必要的信息，以有效地成功完成各种用户的任务。在这项工作中，我们提出了一组对话框，用于建模此类对话框，并注释教学数据集，其中包括3,000多个位置，以任务为导向的对话（总计包含39.5k个话语），并具有对话框ACT。 Teach-da是对Dialog ACT的第一个大型数据集注释，用于具体任务完成。此外，我们在培训模型中证明了该注释的数据集在标记给定话语的对话框行为中的使用，预测给定对话框历史记录的下一个响应的对话框行为，并使用对话框行为指导代理商的非第二语言行为。特别是，我们对对话记录任务的教学执行执行的实验，该模型预测在体现任务完成环境中要执行的低级操作的顺序，证明对话框行为可以将最终任务成功提高2分，以提高最终任务成功率到没有对话行为的系统。

在人类空间中运营的机器人必须能够与人的自然语言互动，既有理解和执行指示，也可以使用对话来解决歧义并从错误中恢复。为此，我们介绍了教学，一个超过3,000人的互动对话的数据集，以完成模拟中的家庭任务。一个有关任务的Oracle信息的指挥官以自然语言与追随者通信。追随者通过环境导航并与环境进行互动，以完成从“咖啡”到“准备早餐”的复杂性不同的任务，提出问题并从指挥官获取其他信息。我们提出三个基准使用教学研究体现了智能挑战，我们评估了对话理解，语言接地和任务执行中的初始模型的能力。

The neural implementation of operant conditioning with few trials is unclear. We propose a Hippocampus-Inspired Cognitive Architecture (HICA) as a neural mechanism for operant conditioning. HICA explains a learning mechanism in which agents can learn a new behavior policy in a few trials, as mammals do in operant conditioning experiments. HICA is composed of two different types of modules. One is a universal learning module type that represents a cortical column in the neocortex gray matter. The working principle is modeled as Modulated Heterarchical Prediction Memory (mHPM). In mHPM, each module learns to predict a succeeding input vector given the sequence of the input vectors from lower layers and the context vectors from higher layers. The prediction is fed into the lower layers as a context signal (top-down feedback signaling), and into the higher layers as an input signal (bottom-up feedforward signaling). Rewards modulate the learning rate in those modules to memorize meaningful sequences effectively. In mHPM, each module updates in a local and distributed way compared to conventional end-to-end learning with backpropagation of the single objective loss. This local structure enables the heterarchical network of modules. The second type is an innate, special-purpose module representing various organs of the brain's subcortical system. Modules modeling organs such as the amygdala, hippocampus, and reward center are pre-programmed to enable instinctive behaviors. The hippocampus plays the role of the simulator. It is an autoregressive prediction model of the top-most level signal with a loop structure of memory, while cortical columns are lower layers that provide detailed information to the simulation. The simulation becomes the basis for learning with few trials and the deliberate planning required for operant conditioning.

Project Loon is a Google initiated research project from the Google X Lab. The project focuses on providing remote internet access and network connectivity. The connectivity is established in vertical and horizontal space; vertical connectivity between Google Access Point (GAP) and the balloons, and between balloons and antennas installed at land; horizontal connectivity is between the balloons. This research focuses on the connectivity between the balloons in a mesh network. The proposal focuses on implementing graphical methods like convex hull with adhoc communication protocols. The proposed protocol includes content-based multicasting using angular sector division rather than grids, along with dynamic core-based mesh protocol defining certain core active nodes and passive nodes forming the convex hull. The transmission (multicasting and broadcasting) between the nodes will be evaluated using the link probability defining the probability of the link between two nodes failing. Based on the link probability and node features, best path between transmitting and receiver nodes will be evaluated.

Recent studies in Vision-and-Language Navigation (VLN) train RL agents to execute natural-language navigation instructions in photorealistic environments, as a step towards robots that can follow human instructions. However, given the scarcity of human instruction data and limited diversity in the training environments, these agents still struggle with complex language grounding and spatial language understanding. Pretraining on large text and image-text datasets from the web has been extensively explored but the improvements are limited. We investigate large-scale augmentation with synthetic instructions. We take 500+ indoor environments captured in densely-sampled 360 degree panoramas, construct navigation trajectories through these panoramas, and generate a visually-grounded instruction for each trajectory using Marky, a high-quality multilingual navigation instruction generator. We also synthesize image observations from novel viewpoints using an image-to-image GAN. The resulting dataset of 4.2M instruction-trajectory pairs is two orders of magnitude larger than existing human-annotated datasets, and contains a wider variety of environments and viewpoints. To efficiently leverage data at this scale, we train a simple transformer agent with imitation learning. On the challenging RxR dataset, our approach outperforms all existing RL agents, improving the state-of-the-art NDTW from 71.1 to 79.1 in seen environments, and from 64.6 to 66.8 in unseen test environments. Our work points to a new path to improving instruction-following agents, emphasizing large-scale imitation learning and the development of synthetic instruction generation capabilities.

视觉语言（VL）预训练最近受到了广泛的关注。但是，大多数现有的端到端预训练方法只旨在解决诸如图像文本检索，视觉询问答案（VQA）和图像字幕等VL任务，以测试对图像的高级了解，或者仅对目标区域进行测试 - 对诸如短语接地和对象检测等任务的水平理解。我们提出了Fiber（基于回避的变压器），这是一种新的VL模型体系结构，可以无缝处理这两种类型的任务。 Fiber没有将多模式融合到模型深处，而不是将融合后的专用变压器层用于融合，而是通过将交叉注意力插入图像和文本骨干杆中，从而在记忆和性能方面带来了增长。此外，与以前的工作不同，它要么仅在图像文本数据上进行训练，要么在带有框级注释的细粒度数据上进行培训，我们提出了一种两阶段的预训练策略，该策略有效地使用了这两种数据：（（ i）基于图像文本数据的粗粒细化预训练；然后是（ii）基于图像文本框数据的细粒度预训练。我们对各种VL任务进行全面的实验，从VQA，图像字幕和检索到短语接地，参考表达理解和对象检测。使用深层多模式融合，结合两阶段的预训练，光纤可对所有任务的强基础进行一致的性能改进，通常使用幅度更优于更多数据的方法。代码可从https://github.com/microsoft/fiber获得。

对于大多数现有的联合学习算法，每一轮都包括最大程度地减少每个客户端的损失功能，以在客户端学习最佳模型，然后在服务器上汇总这些客户端模型。客户端的模型参数的点估计并未考虑到每个客户端估计的模型中的不确定性。但是，在许多情况下，尤其是在有限的数据设置中，考虑到客户模型中的不确定性以实现更准确和健壮的预测是有益的。不确定性还为其他重要任务提供了有用的信息，例如主动学习和分布（OOD）检测。我们提出了一个贝叶斯联合学习的框架，每个客户都使用其培训数据侵入后验预测分布，并提出各种方法，以在服务器上汇总这些特定于客户端的预测分布。由于交流和汇总预测分布可能具有挑战性且昂贵，因此我们的方法基于将每个客户的预测分布提炼成一个深层的神经网络。这使我们能够利用标准联合学习的进步，也可以为贝叶斯联邦学习。与最近试图估算每个客户模型不确定性的最近作品不同，我们的工作也没有做出任何限制性假设，例如客户后分布的形式。我们评估了我们在联合环境中的分类方法，以及在联邦设置中的积极学习和OOD检测，我们的方法在其上优于各种现有的联合学习基线。

现代的神经网络是著名的，但也高度多余和可压缩。在深度学习文献中存在许多修剪策略，这些策略产生了超过90％的稀疏子网，这些子网已全面训练，密集的体系结构，同时仍保持其原始精度。不过，在这些方法中，由于其概念上的简单性，易于实施和功效 - 迭代幅度修剪（IMP）在实践中占主导地位，并且实际上是在修剪社区中击败的基线。但是，关于为什么像IMP这样的简单方法完全有限的理论解释是很少且有限的。在这项工作中，我们利用持续的同源性的概念来了解IMP的运作，并表明它本质地鼓励保留那些保留受过训练的网络中拓扑信息的权重。随后，我们还提供有关在完美保留其零订单拓扑特征的同时可以修剪多少不同网络的界限，并为IMP的修改版本提供了相同的操作。

语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。

最近的工作发现，具有大量不同任务的多任务培训可以统一地改善看不见的目标任务的下游表现。相反，有关任务转移性的文献已经确定，中间任务的选择会严重影响下游任务绩效。在这项工作中，我们旨在解散多任务表示学习中任务的规模和相关性的影响。我们发现，平均而言，就任务数量而言，增加了多任务学习的规模，实际上比较小的多任务设置会导致更好的学习表示。但是，如果提前知道目标任务，那么对一组相关任务的训练就以降低的计算成本为大规模的多任务培训具有竞争力。